package com.ayit.car.car_data;


public class WebCrawler {
    public void crawl(String seedUrl) {
        // 初始化URL管理器
        URLManager urlManager = new URLManager();
        urlManager.addUrl(seedUrl);

        // 循环抓取URL队列中的URL
        while(!urlManager.isEmpty()) {
            String url = urlManager.getNextUrl();

            // 下载网页
            String html = WebDownloader.downloadHtml(url);
            System.out.println(html);

            // 解析网页
            WebParser.parseHtml(html);

            // 获取解析到的URL，并加入URL队列
            urlManager.addUrls(WebParser.getUrls());

            // 存储解析得到的数据
            DataStorage.saveData(WebParser.getData());
        }
    }
}
